昨天介紹了樣本自適應、特徵層面自適應，以及模型層面自適應之後，今天要來繼續分享領域自適應的技術，這個領域可以進一步分為根據差異、根據對抗性以及根據重建的領域自適應，
而今天的文章會是分享基於差異的領域自適應技術的學習筆記

基於差異的領域自適應

基於差異的領域自適應的主要目標是減小源域(Source Domain)和目標域(Target Domain)之間的差異，以使它們在特徵空間中更相似。換句話說，我們希望這兩個域在特徵空間中的距離能越接近越好，所以主要會透過調整模型的參數來降低域偏移的問題

Deep Domain Confusion

在 Deep Domain Confusion 這篇論文中，提出了一種實現最大化域的不變性(Maximizing for Domain Invariance)的分類模型，他們去對有做預訓練的 AlexNet 神經網路模型中引入了一個適應層(Adaptation Layer)以及添加了域混淆損失函數，來讓模型在學習如何分類的同時，也能減少源域及目標域之間的分佈差異

特別的地方

• 加入的適應層是一個比較低維度的瓶頸適應層，他們認為這個適應層的加入不僅可以用於調整源域分類器的訓練以實現正則化，還能有助於避免過度擬合於源域分布中的微小差異
• 域混淆損失函數是透過衡量卷積神經網路(CNN)中學習到的隱藏特徵在源域和目標域之間的最大均值差異(Maximum Mean Discrepancy，簡稱 MMD)，來評估它們之間的相似度

參考來源

Deep Domain Confusion: Maximizing for Domain Invariance